← 返回首页

#Hermes Agent

共 2 篇文章

杂谈

vLLM-Omni 上的 MiniMax H3：从系统级优化到基于 FastVideo FastH3 的实时服务

vLLM-Omni 部署 MiniMax H3 实时服务：① 系统级优化（注意力 + 融合 DiT + 并行 VAE + 紧凑输出 + 并行 MP4）相对 Diffusers 时延 ↓30.8%（1.445×）；② FastVideo FastH3（DMD2 蒸馏四步学生模型）将 49 次 DiT 前向 → 4 次。在 8× B300 上 10.125 秒完整 MP4 用时 8.678-8.710 秒 —— **完整响应快于播放**（RTF_client ≤ 1.0）。

vLLM-OmniMiniMax H3FastVideo